NeurIPS 2023 Spotlight | 半监督与扩散模型结合，实现少标签下可控生成

©作者 | 游泽彬

单位 | 中国人民大学

研究方向 | 生成模型及其应用

本文介绍本组近期发表在 NeurIPS 2023 上的工作 DPT。目前 DPT 已经被 NeurIPS 2023 录取接收为 Spotlight.

论文题目：

Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

论文链接：

https://arxiv.org/abs/2302.10586

代码链接：

https://github.com/ML-GSAI/DPT

论文作者: 

游泽彬，钟勇，鲍凡，孙嘉城，李崇轩，朱军

概述

本文提出了一种简单有效的训练策略，称为双重伪训练（DPT），以进一步推进半监督生成和分类任务。DPT 分为三个步骤：首先，在部分标记的数据上训练分类器以产生伪标签；接着，利用这些伪标签训练条件生成模型，生成伪图像；最后，结合真实图像和伪图像重新训练分类器。实验结果显示，在极少的标签数据（如<0.1%）下，扩散模型能够可控语义地生成高质量图像。此外，生成式增强对半监督分类任务也有显著的助益。

DPT的概览图

▲ Overview

主要的实验结果

生成的样本图

▲ samples

这里展示了一些生成的样本图，最上面是 512 分辨率的样本，每一类只用了五个标签。下面两行是 256 分辨率的样本，每一类仅使用了一个标签。可以看到，生成的样本图的质量很高，而且语义上也是可控的。

半监督生成和分类

▲ results

左边的图展示了半监督生成的结果，圆圈的圆心点对应的 y 值代表对应的 FID 结果，FID 是越低越好，代表生成的图像跟真实图像的差距越小。可以看到，随着使用的标签数量增加，FID 也不断减小，证明用的标签越多，一定程度上可以认为生成图像的质量越高，语义匹配程度也越好。同时，因为我们使用的生成器为 U-ViT，是一种领先的扩散模型，因此我们仅使用非常少的标签，比如小于 0.1% 的标签，就可以达到很好的效果，甚至超过一些使用全标注训练的扩散模型。

右边的图展示了半监督分类的结果。可以看到，生成式增强对于半监督分类有明显的增益作用。这主要得益于扩散模型在生成质量上相比于之前主流的生成模型，比如生成对抗网络，变分自编码器等，有了很大的提升。因此，生成的图像可以作为一种有效的数据增强手段，来提升半监督分类的性能。

分类器无法正确分类时，生成的图像

▲ fail_samples

在该图中，从左到右分别为每类使用了 1,2,5 个标签时，给定金鱼这个标签生成出来的图像，然后 P 跟 R 越低代表着对金鱼这个类分类越差，即有很多的金鱼图被分类为了其他的类别，同时也有很多的其他类别的图被分类为了金鱼。

当每一类使用了一个标签时，分类器无法正确地为金鱼进行分类，此时生成器给定金鱼这个标签去生成时会生成出很多珊瑚的图，这主要是因为在分类时有很多珊瑚的图被分类为了金鱼，因此分类器就给生成器提供了非常多的错误语义的有标签数据。这是比较不好的。

但是随着我们标签使用的增加，生成的图质量会更好，同时在语义匹配程度上也会有提高。

更多阶段

▲ more_stages

从概览图可以看出，目前 DPT 主要分为三个阶段，但是第三个阶段产生的分类器相比于第一阶段有一定的提高，那么一个比较关系的话题就是，当使用第三个阶段得到的分类器重新为生成器提供伪标签，是否会取得更好的效果。

我们发现，当使用更好的伪标签时，在生成指标上都有了一定的提高，证明我们 DPT 的三个阶段能够形成一种正向循环，来迭代的提高伪标签的准确率和伪图像的语义匹配程度。使得生成的图质量更高，语义更准。

主要贡献

我们提出了双重伪训练这种训练策略，简单有效，原则上能够结合任何一种半监督分类器和生成模型。我们得到了在半监督生成任务上的显著提升，特别地，我们在极少的标签数据（如<0.1%）下，扩散模型能够可控语义地生成高质量图像。在半监督分类任务上取得了领先的结果。证明了生成式数据增强对半监督分类任务的仍然是有帮助的。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·